Actes de conversation multimodaux et emotions

Programmation de la personnalité et des émotionsNational audienceCet article se place dans le cadre de dialogues entre un humain et un Agent Conversationnel Animé (ACA). Nous discutons ici de la nécessité de mettre en place un langage spécifique aux interactions entre l'homme et l'ACA, et du rôle central que jouent les émotions au sein de ces interactions. Dans ce but, nous proposons une bibliothèque d'actes de conversations multimodaux basée sur les actes de discours et l'expression des émotions liées aux actes. Nous nous intéressons plus particulièrement aux émotions dites complexes, résultant d'un raisonnement de l'agent. Ce langage de conversation multimodal sera le moyen pour l'ACA d'exprimer son intention communicative de façon multimodale : verbale et non verbale

Cognition, Affects et Interaction

International audienceCet ouvrage rassemble les travaux d’études et de recherche effectués dans le cadre du cours «Cognition, Affects et Interaction » que nous avons animé au 1er semestre 2015-2016. Cette deuxième édition de cours poursuit le principe inauguré en 2014 : aux cours magistraux donnés sur la thématique "Cognition, Interaction & Affects" qui donnent les outils méthodologiques des composantes de l’interaction socio-communicative, nous avons couplé une introduction à la robotique sociale et un apprentissage actif par travail de recherche en binômes. Le principe de ces travaux d’études et de recherche est d’effectuer une recherche bibliographique et de rédiger un article de synthèse sur un aspect de l’interaction homme-robot. Si plusieurs sujets ont été proposés aux étudiants en début d’année, certains binômes ont choisi d’aborder l’interaction avec un angle original qui reflète souvent les trajectoires de formation variés des étudiants en sciences cognitives (ingénierie, sociologie, psychologie, etc). Le résultat dépasse nos espérances : le lecteur trouvera une compilation d’articles argumentés de manière solide, rédigés de manière claire et présentés avec soin. Ces premières «publications» reflètent les capacités singulières de réflexion de cette promotion en nette augmentation par rapport à l’année précédente. Nous espérons que cette série d’ouvrages disponibles sous HAL puisse servir de point d’entrée à des étudiants ou chercheurs intéressés à explorer ce champ de recherches pluri-disciplinaire

Artificial Companion: building a impacting relation

International audienceIn this paper we show that we are in front of an evolution from traditional human-computer interactions to a kind of intense exchange between the human user and new generation of virtual or real systems -Embodied Conversational Agents (ECAs) or affective robots- bringing the interaction to another level, the "relation level". We call these systems "companions" that is to say systems with which the user wants to build a kind of life- long relationship. We thus argue that we need to go beyond the concepts acceptability and believability of system to get closer to human and look for "impact" concept. We will see that this problematic is shared between the community of researchers in Embodied Conversational Agents (ECAs) and in affective robotics fields. We put forward a definition of an "impacting relation" that will enable believable interactive ECAs or robots to become believable impacting companions

Des Styles pour une Personnalisation de l'Interaction Homme-Robot

Les robots compagnons sont des robots personnels qui ont pour objectif d’accompagner l’utilisateur dans ses activités de la vie quotidienne. Nous nous intéressons pour notre part aux enfants, accompagnés par un robot dans différentes situations : travail scolaire, réconfort, jeu, protection,...L’acceptabilité de ces robots compagnons dans le quotidien est questionnée dans de nombreux travaux ; elle est liée à son apparence physique, son utilité, sa facilité d’utilisation mais aussi à d’autres critères qu’il reste à étudier. Un des défis dans la conception de tels robots est de les doter de réelles compétences sociales de perception, de raisonnement et d’action lors de leurs interactions avec l’utilisateur. La recherche dans le domaine de l’interaction humain- robot se tourne ainsi de plus en plus vers les travaux en Informatique Affective (Affective Computing) pour concevoir des robots personnels plus sociaux, l’émotion étant une dimension centrale dans les interactions.D’autres dimensions comme la confiance, la légitimité ou encore la crédibilité du compagnon sont importantes pour leur acceptabilité. Des travaux ont proposé l’idée d’un compagnon ”polyvalent” capable d’endosser de multiples rôles et de s’adapter en fonction des besoins de l’utilisateur et en fonction du contexte de la situation. La Théorie du Compagnon présentée soulève la question des différences entre individus influençant la qualité de l’interaction et la construction d’une relation entre le compagnon et l’utilisateur. Ce travail sur la personnalisation des robots a pour but de créer de la valeur, en particulier pour des parents souhaitant un robot compagnon pour leur enfant, en accord avec leurs propres attentes

Increasing communication between a man and a dog

International audienceIn this paper, we present the first results we have concerning our ongoing work on a robotic system embedded on a dog to enrich communication. Two problems are addressed here: How to keep control of a dog when the human does not see it? For dog trained to do some specific activities in particular situation, how to detect this activity? We present here results on controlling the dog by an embedded voice and a real-time recognition of some activities of the dog : walk, seat, run, lying

A Review on Learning Planning Action Models for Socio-Communicative HRI

National audienceFor social robots to be brought more into widespread use in the fields of companionship, care taking and domestic help, they must be capable of demonstrating social intelligence. In order to be acceptable, they must exhibit socio-communicative skills. Classic approaches to program HRI from observed human-human interactions fails to capture the subtlety of multimodal interactions as well as the key structural differences between robots and humans. The former arises due to a difficulty in quantifying and coding mul-timodal behaviours, while the latter due to a difference of the degrees of liberty between a robot and a human. However , the notion of reverse engineering from multimodal HRI traces to learn the underlying behavioral blueprint of the robot given multimodal traces seems an option worth exploring. With this spirit, the entire HRI can be seen as a sequence of exchanges of speech acts between the robot and human, each act treated as an action, bearing in mind that the entire sequence is goal-driven. Thus, this entire interaction can be treated as a sequence of actions propelling the interaction from its initial to goal state, also known as a plan in the domain of AI planning. In the same domain, this action sequence that stems from plan execution can be represented as a trace. AI techniques, such as machine learning , can be used to learn behavioral models (also known as symbolic action models in AI), intended to be reusable for AI planning, from the aforementioned multimodal traces. This article reviews recent machine learning techniques for learning planning action models which can be applied to the field of HRI with the intent of rendering robots as socio-communicative

Une approche totalement instanciée pour la planification HTN

International audienceDe nombreuses techniques de planification ont eté développées pour permettrè a des syst emes autonomes d'agir et de prendre des décisions en fonction de leurs perceptions de l'environnement. Parmi ces techniques, la planification HTN (Hierarchical Task Network) est l'une des techniques les plus utilisées en pratique. Contrairement aux approches classiques de la planifi-cation, la planification HTN fonctionne par décomposition récursive d'une tâche complexe en sous tâches jusqu'` a ce que chaque sous-tâche puissê etre réalisée par l' exécution d'une action. Cette vision hiérarchique de la planification permet une représentation plus riche desprobì emes de planification tout en guidant la recherche d'un plan solution et en apportant de la connaissance aux algorithmes sous-jacents. Dans cet article, nous proposons une nouvelle approche de la planification HTN dans laquelle, comme en planification classique, nous instancions l'ensemble des opérateurs de planification avant d'effectuer la recherche d'un plan solution. Cette approche a fait ses preuves en planification clas-sique. Elle est utilisée par la plupart des planificateurs contemporains mais n'a, ` a notre connaissance, jamais eté appliquée dans le cadre de la planification HTN. L'instanciation des opérateurs de planifica-tion est pourtant nécessaire au développement d'heuristiques efficaces et a l'encodage deprobì emes de planification HTN dans d'autres formalismes tels que SAT ou CSP. Nous présentons dans la suite de l'article un mécanisme générique d'instanciation. Ce mécanisme implémente des techniques de simplification permettant de réduire la complexité du processus d'instanciation inspirées de celles utilisées en planification classique. Pour finir nous présentons des résultats obtenus sur un ensemble deprobì emes issus des compétitions internationales de planification avec une version modifiée du planificateur SHOP utilisant notre technique d'instanciation

Interaction affective et expressive. Compagnon artificiel-humain

Le but de ce travail de thèse est de rendre sincère un Agent Conversationnel Animé (ACA) pour, d'une part, améliorer sa crédibilité du point de vue de l'humain, et d'autre part contribuer à le rendre acceptable dans une relation privilégiée compagnon artificiel - humain. La première partie de ce travail consiste en la création d'un Langage de Conversation Multimodal (LCM) pour ACA, constitué d'Actes de Conversation Multimodaux (ACM) tels que promettre, s'excuser ou exiger : ces ACM permettent à l'agent d'être crédible dans sa sincérité, en exprimant multimodalement ses états mentaux de façon appropriée. Les états mentaux portés par les ACM sont formalisés en logique : la volonté de représenter des états mentaux issus de raisonnements complexes (basés d'une part sur le raisonnement contrefactuel et d'autre part sur les normes et les buts de l'agent), dont l'expression se fait avant tout par le langage (Oatley 1987), a amené à mettre en place le modèle BIGRE (Beliefs, Ideals, Goals, Responsibility, Emotions). Ce modèle, basé sur une logique de type BDI (Belief, Desire, Intention), permet de représenter également des émotions que nous appelons complexes, telles que la réjouissance, la gratitude ou le regret. La catégorie expressive des ACM contient les actes exprimant ces émotions complexes (e.g. remercier, regretter) : l'expression se fait par le langage, conjointement aux autres expressions multimodales appropriées. Le LCM est implémenté dans l'ACA Greta, ce qui permet une évaluation de ce langage en termes de crédibilité et de sincérité perçues par l'humain. La deuxième partie de ce travail porte sur les capacités de raisonnement de l'ACA : dans le but de permettre à l'agent de raisonner dans le dialogue, c'est-à-dire mettre à jour ses états mentaux et ses émotions et sélectionner son intention communicative, un moteur de raisonnement a été mis en place. Ce moteur de raisonnement est basé sur le cycle de comportement BDI - Perception, Décision, Action - et les opérateurs du modèle BIGRE, permettant ainsi la manipulation d'états mentaux issus de raisonnements complexes (dont les émotions complexes). Les ACM qui composent notre langage sont intégrés dans le moteur, et sont utilisés pour atteindre l'intention communicative de l'ACA : par exemple, si l'agent a l'intention d'exprimer sa gratitude, il construit un plan pour satisfaire son intention, formé des ACM remercier ou féliciter, selon le degré de l'émotion. Un type d'intention communicative, déclenché par des règles d'obligation du discours, participe à la régulation locale du dialogue. L'ACA étant de plus affectif, sa sincérité l'amène à exprimer toutes ses émotions. La généricité de ce moteur de raisonnement permet de l'implémenter dans l'ACA Greta (où il est en lien avec le LCM) et dans l'agent MARC. L'expression multimodale des ACM avec l'agent MARC a été rendue possible par l'intégration des checks de Scherer dans le moteur de raisonnement que nous avons adapté au contexte du dialogue. Une évaluation du moteur de raisonnement avec l'agent MARC montre que les états mentaux déduits par le moteur sont appropriés à la situation, et que leur expression (l'expression de la sincérité de l'agent) est également appropriée.The aim of this thesis is to make an Embodied Conversational Agent (ECA) sincere in order to, on one hand, improve its believability from the human's point of view, and on the other hand make it acceptable in an affective relationship between an artificial companion and a human. The first part of this work consists in creating a Multimodal Conversation Language (MCL) for an ECA, made up of Multimodal Conversation Acts (MCA) such as promise, apologise or demand. These MCA allow the agent to appear believable in its sincerity, by multimodally expressing its mental states in an appropriate way. The mental states carried by the MCA are formalised in logics: our will to represent mental states stemming from complex forms of reasoning (based on counterfactual reasoning or on the agent's norms and goals) that are mainly expressed via language (Oatley 1987) led us to design the BIGRE model (Beliefs, Ideals, Goals, Responsibility, Emotions). This model, based on a BDI-like logic (Belief, Desire, Intention), allows us to also represent some particular emotions that we call complex emotions, such as rejoicing, gratitude or regret. The expressive category of MCA contains acts that express these complex emotions (e.g. thank, regret): they are expressed by the language, along with the other appropriate multimodal expressions. We implemented the MCL in the ECA Greta, which enabled an evaluation of this language in terms of believability and sincerity perceived by the human. The second part of this work is about the ECA's reasoning capabilities: in order to allow the agent to reason in the dialogue, that is to update its mental states and its emotions and select its communicative intention, we designed a reasoning engine. This reasoning engine is based on the BDI behaviour cycle of Perception - Decision - Action and on the operators from the BIGRE model, thus enabling the manipulation of mental states resulting from complex reasoning (including complex emotions). The MCA in our language are part of our reasoning engine, and are used to achieve the ECA's communicative intention: for example if the ECA intends to express its gratitude, it builds a plan to achieve this intention, that consists of the MCA thank or congratulate, depending on the intensity of the emotion. One type of communicative intention, triggered by discourse obligations rules, participates in the local regulation of dialogue. Further, since the ECA is emotional, its sincerity brings it to express all its emotions. The generic character of this reasoning engine allowed us to implement it in the ECA Greta (where it is linked with the MCL) as well as in the agent MARC. The multimodal expression of MCA by the agent MARC was made possible by integrating Scherer's checks in the reasoning engine that we adapted to the context of dialogue. An evaluation of the reasoning engine with the agent MARC shows that the mental states deduced by the engine are appropriate to the situation, and that their expression (the expression of the agent's sincerity) is also appropriate.SAVOIE-SCD - Bib.électronique (730659901) / SudocGRENOBLE1/INP-Bib.électronique (384210012) / SudocGRENOBLE2/3-Bib.électronique (384219901) / SudocSudocFranceF